SpecFold: Folding Multi-Branch Redundancy for Faster Speculative Decoding in Diffusion Language Models
SpecFold：折叠多分支冗余加速扩散语言模型推测解码
🧭 扩散语言模型 · 推测解码加速
Georgia Institute of Technology
利用多分支推测验证中的隐藏状态冗余，通过残差门控与折叠注意力/FFN降低计算，最高实现1.64倍吞吐提升
📌 工作参考价值（4 点）
- 若线上用 multi-branch speculative decoding 加速 LLM 生成（如 query 改写、商品文案、Agent 回复），可借鉴 SpecFold 的 parent-child 分支隐藏状态复用：draft branches 往往只额外 unmask 少量 token，大部分 hidden states 与父分支高度相似，可做 token-level residual gating 跳过重复 attention/FFN 计算。
- 算法-系统协同设计值得参考：将细粒度重用逻辑用 Triton kernel 实现为稀疏多分支执行，避免框架层 overhead，否则算法上的 FLOPs 节省难以转化为端到端吞吐增益。
- SpecFold 与 temporal caching 正交，可与 KV cache、前缀缓存等叠加；若未来在生成式推荐中使用扩散模型生成 Semantic ID 序列，同样存在跨步/跨分支冗余，可借鉴类似折叠思想。
- 论文验证了在多个 DLLM 上吞吐提升且精度不降，说明这种近似重用在文本生成任务上风险可控，适合延迟敏感的搜索/推荐在线服务。